数据受限稠密检索的缩放律与算力分配
🧭 数据受限 Dense Retrieval 的 scaling law ★ 深度解读
Tsinghua Shenzhen International Graduate School · Xi'an Jiaotong University
提出 MAEL 作为数据受限微调的稳定目标，拟合乘法 scaling law 并量化模型规模相对数据规模的计算效率优势
📌 工作参考价值（4 点）
- 在标注/点击数据受限且重复多 epoch 的检索召回微调中，用 MAEL（训练期间最低 eval loss）替代固定 step 的 eval loss 做模型选择与资源分配；它对学习率不敏感，且与 MRR@10、Recall@100 等线上指标高度相关（Pearson ≤ -0.985），适合小规模网格外推。
- 学习率主要改变到达 MAEL 的步数而非最终最低 loss：scaled step = step × lr / (2e-5) 可对齐曲线。工程上可以先小网络扫学习率确定收敛速度，不必为每个配置重跑大搜索。
- 资源分配：在 5K-320K 唯一样本、BERT-Tiny→Base 的数据受限 regime 下，增加预训练模型大小比增加唯一 in-domain 标注数据约 1.46 倍更 fine-tuning compute 高效；若模型容量受线上延迟/部署限制，再补唯一数据。
- Weight decay 调参：不要固定 λ，改用 EMA timescale τ_epoch = B / (η λ U) 作为不变尺度；数据减半时 weight decay 翻倍，常能降低 MAEL 并提升 in-domain 与 BEIR OOD 检索指标。
随机舍入 SGD 的比特数、训练时间与模型规模缩放定律
🧭 低精度训练 · 随机舍入 scaling laws
University of California, Berkeley · ICSI · LBNL
在两层线性网络上证明随机舍入 SGD 预测误差上下界，给出精度、模型规模与训练时间的 compute-optimal scaling 法则
📌 工作参考价值（4 点）
- 在 LLM/推荐模型低精度训练中优先用随机舍入替代就近舍入，尤其前向激活可低至 8bit/4bit，但反向特征需保留更高精度或单独调度，否则会改变 compute-optimal scaling。
- 采用 EMA/参数平均时，可重新评估各计算环节精度需求：论文表明参数平均会改变哪一阶段需要更高精度，因此推荐训练中的参数平均（如模型合并、Polyak）可搭配更激进的前向量化而不伤害最终效果。
- 固定算力预算下，若需要扩模型或加训练时间，可尝试降低精度换取更多 FLOPs/epochs；在电商搜索推荐的大规模模型训练中，这可能优于保持 BF16/FP32 的小模型。
- 学习率调度需随反向舍入精度调整：部署低精度反向时，原最优学习率可能失效，需搜索并配合 warmup/衰减，避免训练不稳定或收敛变慢。
用 JEPA 证明并改进柏拉图表征假说
🧭 多模态表示对齐 · JEPA 理论
Brown University · New York University · AMI Labs
证明基于“好视图”的 JEPA 可跨模态对齐表征，且比 next-token 高效 42 倍
📌 工作参考价值（4 点）
- 多模态商品/内容塔可尝试用 JEPA 式“同一商品/场景的两个视图”构造正对，替代或辅助 CLIP 式图文对比，降低对大规模成对数据的依赖。
- 正对质量优先于数据规模：在电商语料中构造标题 vs 属性描述、原图 vs 增强视图等 good views，可能以远小于 next-token 预训练的样本量获得跨模态对齐，节省训练成本。
- 文本塔单独自监督训练后仅需学习一个旋转矩阵即可实现图像-文本检索/文案生成，适合为商品图生成短描述或跨模态召回。
- 若业务中有不成对的图文/视频/行为数据，可借鉴其 pair-free 零样本评测思路，验证表征对齐是否足够支撑下游任务。
基于变分解码的并行语言模型
🧭 并行解码 · 变分推断 · LLM 推理加速 ★ 深度解读
University of California, Irvine · ETH Zurich · Charité Berlin · Hasso Plattner Institute
用潜变量路由 token 间依赖，单次前向生成多个一致 token，实现接近自回归质量的 2.3-5.7 倍推理加速
📌 工作参考价值（4 点）
- 在线 LLM 服务加速：如果业务中大量调用 LLM 做搜索 query 改写、导购 Agent、商品文案生成，可尝试把现有 AR 模型改造成 PLM 风格的 block-parallel decoder；通过 β 调节质量/吞吐，SFT 时只对 response token 计算损失，保留 prompt 作为 context，直接复用到指令跟随与对话场景。
- 辅助变量 / Semantic ID 设计：Geometry-aware auxiliaries 使用 embedding 空间的加权 V oronoi 划分而非词表顺序，对生成式推荐中的 Semantic ID 构建有直接启发：用 item embedding 聚类/划分 codebook，比随机 ID 更保留语义，也能提高解码确定性。
- 偏好对齐可复用：PLM 的 DPO 用 response-restricted composite score 并做 length normalization，同时优化 AR encoder 与 parallel decoder；在电商 Agent 的 RLHF / DPO 流程中可以借鉴，避免并行解码分支在偏好优化后掉点。
- 工程验证点：relaxed speculative acceptance 相比严格 speculative decoding 接受率平均提升 46.5%，质量损失小；若迁移到 vLLM 服务，建议先在小参数模型上验证 2-5× QPS 提升，确认长 context、beam search 与自定义 attention mask 的兼容性。
循环混合专家模型的联合缩放定律
🧭 循环 MoE 联合缩放定律 ★ 深度解读
Meta AI
提出首个联合建模循环深度与 MoE 稀疏度的缩放定律，用于资源约束下最优循环 MoE 设计
📌 工作参考价值（4 点）
- 在推荐/广告场景部署 LLM ranker 或 copy 生成模型时，可借鉴循环 MoE：固定 active 参数下提高 R 换取 reasoning 能力，稀疏度 E 换取总体知识覆盖；按 latency/显存预算联合调 R 和 E，而不是简单增大 dense 参数。
- 若有训练 scaling law 拟合能力，可仿照论文用小规模 (Nact,D,E,R) sweep 拟合含稀疏度条件的 Neff(R,m)，预估不同 FLOPs/内存下配置的 loss，指导模型 ladder 选型；低内存设备优先高 R 低 E，富内存场景优先高 E 低 R。
- 循环模型天然支持 test-time scaling：同一 checkpoint 只改 R 即可从低算力到高算力平滑提升效果（案例中 R 1→5 提升 Overall +10.3），适合推荐系夜间批量生成与在线高 QPS 弹性推理。
- 工程实现采用 middle-block looping：只循环中间层，前两层和后两层不共享，配合逐层监督可让同一模型在多个 R 下可评测；注意全反向传播计算与 unroll 参数成正比，可用 early exit 减少无效深循环。
Skaling：以交互指数耦合模型尺寸与数据的缩放法则
🧭 缩放法则改进 · 计算最优预测
FAIR at Meta
引入交互指数耦合模型容量与数据，解决标准缩放法则在极端区间的预测偏差，MAPE 降低 1.5–3 倍
📌 工作参考价值（4 点）
- 小规模代理实验精准指导大规模训练：直接采用 Skaling 法则对搜索/推荐模型（如召回双塔、精排大模型）进行缩放预测，捕捉模型尺寸与数据量的交互效应，避免因独立假设导致在数据稀疏或过训练时的计算资源错配。
- 低成本外推最优配置：结合文中稀疏网格策略，用少量低计算量实验（约全网格的 1/10 计算量）即可准确外推更大规模下的 Loss 与最优参数比，适合业务中需快速评估多个模型尺度时的预算分配。
- Agent 微调与 RLHF 的 scaling 决策：在为下游任务微调 LLM Agent 时，可利用该法则预测不同基座大小与微调数据量组合的性能，帮助在预算内选取性价比最高的配置。
- 交互项设计思路可迁移：当推荐模型存在组件间的强耦合（如特征域数量与 embedding 维度的联合缩放），可在损失预测函数中显式引入耦合项，提升拟合效果，该方法具有通用性。
缩放内建可解释性语言模型
🧭 可解释性内置训练的 LLM 缩放
Guide Labs
将可解释性作为训练约束与语言建模联合优化，实现与规模同步提升的内建可解释性
📌 工作参考价值（4 点）
- 在推荐模型训练中加入概念瓶颈层，强制用户/物品表示与预定义业务概念（类目、品牌、意图）对齐，实现原生可解释的 embedding，用于召回或排序解释。
- 利用归因与训练数据溯源能力，快速诊断推荐结果：定位影响当前推荐的用户历史行为或训练样本，通过移除/增强对应概念快速调试策略，无需重新训练。
- 扩散语言模型 + 概念转向的思路可迁移至生成式推荐（如语义 ID 生成），在生成物品序列时直接通过概念向量控制推荐属性（多样性、新品偏好等）。
- 可解释性随规模改善的缩放律意味着，在大规模推荐模型（如多模态 Transformer）中实验此类训练约束风险更低，可放心追求能力与可解释性双赢。
视觉生成中文本条件的缩放特性
🧭 文本条件缩放 · 结构化提示优化
ByteDance Seed
扩散损失随结构化提示的信息量线性下降，而非标记数，引导出更强的提示器和模型
📌 工作参考价值（4 点）
- 结构化输入比长文本更有效：在生成式推荐（如商品描述、广告文案生成）中，使用结构化数据（属性键值对）替代冗长自然语言描述，可避免性能饱和，并持续提升生成质量。
- 量化输入信息量来指导优化：借鉴 GPG（生成概率增益）和 ED（实体密度）等度量，为推荐场景的 prompt 设计提供可监控指标，寻找信息量-生成质量的最优点，而非盲目增加上下文。
- 三阶段训练提示器：将 SFT + 冷启动 + 验证器门控策略蒸馏的管线迁移至推荐系统，训练专用提示器，自动优化用户意图解析、查询重写或对话式推荐的输入生成。
- 避免“长 prompt 幻觉”：在 Agent 与 LLM 结合的场景，输入 token 数增加不保证效果提升，应通过结构化注入领域知识（如商品图谱、用户行为标签）来提升信息密度，减少冗余推理。
BM25在大规模上获胜：检索增强生成范式的扩展性研究
🧭 检索增强生成扩展性分析 ★ 深度解读
University of Science and Technology of China · Metastone Technology · Beijing Academy of Agriculture and Forestry Sciences
在450倍语料规模扩展实验中，BM25在大约1000万词元后全面超越文件系统Agent和图RAG，成为准确性最高且成本最低的默认检索方案
📌 工作参考价值（4 点）
- 大规模知识库推荐系统检索选型：在电商商品描述、客服知识库等百万级文档场景中，BM25应当被作为默认检索器，而不必盲目追求稠密检索或Agent搜索；BM25无需LLM构建索引，成本极低且准确率在大规模时反而领先。
- 搜索词/问题改写中的成本控制：File-System Agent在小规模（<1000万词元）时可获得最佳准确率，但其顺序探索导致查询成本为BM25的39倍以上；在广告搜索词推荐或用户问题重写中，应先通过全局关键词检索（如BM25）获得候选，再引入Agent推理，而不是全程依赖Agent遍历。
- 图索引构建的门槛评估：GraphRAG（如LightRAG、MS-GraphRAG）在构建阶段消耗极大，LightRAG在300万词元时已无法完成构建，且准确率始终不如BM25；在含有大量噪声、事实冲突的电商评价或客服记录中，图遍历更容易被语义干扰，应谨慎评估ROI。
- 评测设计的借鉴：论文通过固定问答集、固定对抗文档、仅增加背景语料的“嵌套语料梯”设计，可以迁移到搜索推荐系统的离线评估中，用于衡量模型在库存/内容膨胀时的鲁棒性，避免单一体量评估掩盖扩展性问题。
Chimera：混合视觉扩散 Transformer 的设计与 Chinchilla 缩放
🧭 视觉扩散模型的架构与缩放规律
Adobe Research
提出混合扩散 Transformer 及异配缩放规则，在图像/视频生成中实现 7.3× 计算效率提升与 30 秒零样本长度外推
📌 工作参考价值（5 点）
- 长上下文高效建模方案可迁移：Kimi Delta Attention (KDA) 实现 O(N) 复杂度的全局状态跟踪，可用于电商场景中长序列用户行为建模或长视频推荐，降低注意力成本。
- 多模态统一流处理：将文本、图像、视频 token 按光栅顺序混合，无需位置编码，可直接借鉴到电商多模态商品描述（图文视频）的统一表征中，简化预处理流程。
- MoE 稀疏活化策略：稀疏 MoE 层在增大模型容量的同时控制激活参数量，适合推荐大模型（如生成式推荐）的扩展，可平衡效果与推理时延。
- 异构架构的模块化缩放（HeteroP）：根据张量功能扇入与深度动态分配宽度/深度参数，为推荐模型的不同模块（特征交互、序列建模等）提供差异化缩放指导，避免均匀缩放浪费。
- 计算最优数据配比洞察：图像预训练中激活参数量与训练 token 数近乎均分算力，视频则略偏向参数量——可为多模态推荐模型的训练预算分配提供参考。
原生多模态预训练的可预测扩展法则
🧭 多模态缩放法则与训练效率前沿
The Chinese University of Hong Kong · Tencent
发现原生多模态预训练的损失、模型大小与数据量遵循幂律，数据配比影响计算最优分配，且存在跨模态正向迁移
📌 工作参考价值（4 点）
- 多模态训练预算分配：固定计算资源下，模型参数量与训练token数存在幂律最优关系，可参考其拟合公式，在训练电商多模态模型（如图文商品理解）时合理分配扩大模型或增加数据的投入。
- 数据混合策略：文本占比高的多模态混合数据在模型规模较小时不划算，只有大模型才能高效利用，提示在设计电商多模态预训练数据（如商品标题+图片）时，若算力有限可适当提高图片/视觉token比例以获得更快收敛。
- 跨模态能力迁移：多模态预训练能提升纯文本空间推理，可用于电商场景中需要空间理解的推荐（如家具摆放、服装搭配），无需额外标注即可增强模型的几何关系推理。
- 少样本多模态上下文学习：原生多模态预训练使模型具备稳健的多模态上下文学习能力，可借鉴到少样本商品属性提取、图文匹配验证等任务中，减少对大量标注的依赖。
从近似到涌现：深度学习理论统一框架
🧭 深度学习理论统一框架
Sun Yat-sen University
系统梳理深度学习理论，从经典近似、优化、泛化到现代涌现现象，构建统一研究叙事
📌 工作参考价值（4 点）
- 本书为纯理论综述，业务可借鉴点有限。
- 关于 scaling laws 和 emergence 的理论分析可辅助理解大模型在推荐系统中的行为：随着模型规模和数据量增长，性能可能出现跃升，指导资源投入策略。
- 泛化与鲁棒性理论可应用于推荐模型的离线评估与线上风险控制，尤其面对分布偏移时。
- 机制可解释性理论为推荐模型的特征重要性归因、内部行为诊断提供思想框架，有助于提升模型可信度。
高维网格近似最近邻搜索的缩放定律
🧭 高维ANN缩放定律与网格算法
University of California, Berkeley · University of Toronto, St. George · Independent Researcher · University of Waterloo
多探针网格在高维下展现维度不变吞吐，索引成本低，冲击图/树方法的主导地位
📌 工作参考价值（4 点）
- 当推荐系统使用高维嵌入（d≥300）且索引频繁重建（如分钟级更新），可试用多探针网格替代HNSW，利用其近常数维度吞吐和极低索引延迟，避免图索引重建瓶颈。
- 查询时间随N近线性增长，但在千万级数据集上仍可能满足延迟要求；通过调节probe数量可灵活控制精度/速度折中，适合召回延迟不极端的业务。
- 若采用ANN近似自注意力优化大模型推理，网格法的维度不变性可提供更平稳的扩展，值得在推理引擎中作为备选ANN后端。
- 在离线全量索引构建场景（如每日亿级向量重建），网格法的快速索引特性可大幅缩短总耗时，可作为评估向量检索库时的 baseline 方案。
DataComp-VLM：改进视觉语言模型的开放数据集基准
🧭 多模态数据筛选与混合策略基准
数据混合而非过滤是提升VLM训练质量的关键，指令丰富混合可扩展性更优
📌 工作参考价值（4 点）
- 数据混合优于过滤：在构建电商多模态模型（如商品图文理解）时，应优先投入人力设计数据配比（例如指令数据 vs. 简单图文对），而非单纯用质量过滤丢弃数据。
- 增加指令微调数据占比：对于需要遵循指令的产品（如商品描述生成、多模态对话搜索），在预算内大幅提升指令格式样本的比例，能带来更好的下游任务扩展性，且收益随模型规模扩大而放大。
- 复用 DCVLM 基准框架：可将内部多源数据（用户评价图、商品主图、商品标题、问答对）组织成类似四类数据类型（图像-文本对、交错文档、纯文本、指令数据），利用其可插拔过滤/混合/采样接口做快速消融实验，找到最优数据配方。
- 小预算探索大模型效果：DCVLM 的低 token 预算轨道（如 6.25B）可用来预估不同数据策略在更大规模下的表现，适合资源有限的业务团队在迭代中提前淘汰劣化配方。
规模能拯救大语言模型的塑性损失吗？
🧭 LLM持续学习的塑性损失标度律
Zyphra
发现LLM塑性损失遵循可预测的亚线性标度律，增大模型仅能延缓而无法根除。
📌 工作参考价值（4 点）
- 搜索推荐系统若需持续增量训练（在线学习），应监控模型在新任务/分布上的快速适应能力，警惕塑性损失导致更新失效。
- 单纯增大模型规模（如从1B升到10B）只能把塑性损失出现时间向后推，无法彻底避免；对于长期运行的业务模型，需考虑周期性重置部分参数、采用弹性权重巩固或正则化策略。
- 即使数据分布平稳（如电商流量自然漂移），长时间训练也会累积塑性损失；定期用固定预算在新数据上微调并评估性能下降，可作为预警指标。
- 借鉴标度律思路，可在模型升级时预估塑性损失风险的延迟收益，辅助资源投入决策。
任务特定LLM蒸馏的缩放定律
🧭 LLM蒸馏缩放定律与监督格式
NVIDIA
量化了领域特定LLM压缩中数据集大小、压缩比、监督格式的缩放规律，发现思维链监督能恢复剪枝损失的通用知识。
📌 工作参考价值（4 点）
- 若对电商搜索/推荐中的 LLM 进行压缩（如商品分类、意图识别），使用思维链（CoT）监督可以显著恢复结构化剪枝损失的通用知识，避免模型变成纯粹的领域专家而丧失泛化能力。Label-only 蒸馏（直接 logit KD 或 LoRA fine-tune）会导致通用能力塌陷。
- 迭代剪枝+蒸馏（每步剪枝后重新蒸馏）明显优于一次性剪枝，更匹配生产环境中逐步压缩模型的工程流程；该策略可迁移到实时服务对延迟敏感的场景。
- 缩放定律给出明确的数据量-压缩比关系，实践中可据此预估：要将模型压缩到目标大小，需要准备多少领域数据；数据集过小时，CoT 监督的数据效率优势更明显。
- LoRA 蒸馏在 label-only 设定下保留了比直接 logit KD 更多的通用知识，如果由于成本无法生成 CoT 标注，优先选用 LoRA 蒸馏作为折中方案。
动态短卷积：用输入依赖的局部混合增强 Transformer
🧭 动态短卷积增强 Transformer 架构 ★ 深度解读
Massachusetts Institute of Technology · MIT-IBM Watson AI Lab
提出输入依赖的短卷积替代静态卷积，在 QKV 或全部线性层上带来 1.33–1.60× 计算优势，并保持低训练开销。
📌 工作参考价值（4 点）
- 在推荐、Agent 序列建模中，可将动态短卷积作为一种局部上下文交互层，放置在 QKV 或所有线性层后，增强模型对内容依赖的局部组合能力。
- 参数效率方面，使用低秩分解（rank R）或 head‑wise 共享动态卷积分量，在参数量仅小幅增加的前提下获得明显性能提升，适合资源敏感的业务场景。
- 工程实现上，可借鉴 Triton 内核融合（将动态权重生成与卷积操作熔合，避免中间张量写回 HBM）以减少内存带宽压力，使训练吞吐仅下降约 8%，适合实际部署。
- 动态卷积可与现有序列混合器（如 Attention、Mamba、DeltaNet）组合使用，替换其中的静态卷积，无需改动整体架构设计即能获得额外收益。
为何大模型学得更多：容量、干扰与稀有任务保留的效应
🧭 模型缩放 · 数据混合中的稀有任务学习 ★ 深度解读
Stanford University · Kempner Institute at Harvard University · MIT · Anthropic
揭示大模型通过减少梯度干扰和增强稀疏观测记忆保留来学习稀有任务，并指导数据混合设计
📌 工作参考价值（4 点）
- 数据混合优于单纯扩模型：若目标任务（如长尾商品推荐、低频 Query 改写）频率极低，直接提升其采样频率可能比扩大模型更高效，文中在真实 OLMo 预训练中验证了这一点。
- 梯度干扰可作为资源分配的监控信号：在多任务学习（如电商搜索的多目标优化、Agent 多技能训练）中，监控频繁任务梯度对稀有任务方向的余弦相似度，可诊断是否发生覆盖式遗忘，进而调整训练策略或动态加权。
- 大模型天然利于长尾任务：工程上若无法大幅提升长尾数据量，可采用更大基座模型（或策略性地增加关键层的神经元数）来保留稀疏但有价值的信号，例如冷启动推荐或低频搜索词的理解。
- “记忆”可辅助泛化：文中指出保留稀有观测的中间特征有助于逐步积累信号、学习可泛化的结构，这启发了在推荐或对话 Agent 中主动缓存并回放长尾样本，以促进从稀疏交互中学习规律。
迈向通用且高效的大规模生成式推荐系统
🧭 生成式推荐 · 大规模生产优化 ★ 深度解读
Netflix Research
在10亿参数生成式推荐模型中，用任务相关缩放法则、多token预测和语义塔解决了规模化后的效果迁移与工程效率难题。
📌 工作参考价值（4 点）
- 任务相关的缩放法则作为资源分配指南：不同推荐任务的预测难度与天花板差异极大，直接用 MRR 拟合偏移幂律可量化剩余 headroom，指导模型容量投入——若任务已接近天花板，应转向优化目标函数或对象表示，而非盲目扩大 backbone。
- 多 token 预测对齐缓存服务延迟：电商推荐中常因在线排序延迟而使用缓存，导致 next-token 目标在服务时已失效。MTP 用带时间衰减的多目标加权标签训练，在 48 小时延迟下 MRR 提升 20%+，可直接用于离线与近线推理的标签构造，且不增加线上推理成本。
- 语义塔与协同嵌入掩码协同处理冷启动：新物品缺乏 ID 嵌入时，通过共享的多模态语义塔（知识图谱、LLM 文本嵌入、人工标签）构建物品向量，并在训练时按比例随机掩码协同嵌入为 OOV 嵌入，使解码器学会平衡 ID 与语义信号。电商新品上架可直接复用该范式。
- 轻量级解码效率方案：用 1% 均匀采样负样本的 sampled softmax 加 d/8 投影头，在不改 backbone 前提下可大幅降低训练 FLOPs（如 10^6 输出空间下降 35 倍），支持万亿级行为 token 的频繁重训练，工程实现简单且与 SID 等方法正交。
从顺序特征恢复中涌现缩放定律：一个可解的分层模型
🧭 特征学习顺序与缩放定律的理论解释
Ecole Normale Supérieure (PSL & CNRS) · École Polytechnique Fédérale de Lausanne (EPFL)
揭示多层网络如何通过顺序恢复不同强度的潜在组合特征来产生幂律缩放定律
📌 工作参考价值（4 点）
- 推荐系统的特征重要度设计：可借鉴分层组合特征的幂律权重先验，在特征工程中明确区分强/弱特征，指导特征选择和样本分配。
- 分阶段训练策略：在电商多模态模型中，可按特征强度顺序逐步引入训练目标，先用强特征快速收敛，再逐步学习弱特征，可能提升样本效率。
- Agent多智体中的层次规划：分层恢复的理念可迁移至任务分解，先将简单子任务习得，再顺序攻克复杂子任务，形成由易到难的学习序列。
- 理论启发：为推荐模型（如生成式推荐）中的深层次Semantic ID结构提供了新的分析视角，表明层级表示可能自然导致缩放行为。